Merge branch 'master' of ssh://git-annex.branchable.com

distribits 2025

fix build with old bytestring

bytestring-0.11.3.0 is the first to have ShortByteString singleton.
Unsure about what version added concat, but mconcat = concat.

Merge branch 'master' of ssh://git-annex.branchable.com

map --json wishlist

initial report about map infinite loop

update

Added a comment

Added a comment: Confused

Added a comment: For Those Who Stumble Here

update

comments

add REPRODUCIBLE

optional and required inputs and some other changes

improved draft design

improve apiurl description

git-lfs apiurl parameter

git-lfs: Added an optional apiurl parameter.

This needs version 1.2.5 of the haskell git-lfs library to be used.
stack.yaml updated to use that.

Note that git-annex enableremote can be used to add apiurl= to an existing
git-lfs special remote. To allow unsetting the apiurl and instead use
the probed url, support enableremote with apiurl set to an empty string.

Sponsored-by: Luke T. Shumaker

Added a comment: Faced same issue for long time

OsPath build fix

OsPath build fix

OSX build fix

OSX build fixes

OSX build fixes

OSX build fix

OSX build fixes

Merge branch 'ospath'

Added a comment

OsPath conversion for OSXMkLibs

Merge branch 'master' into ospath

Merge branch 'master' of ssh://git-annex.branchable.com

further fix OSX packaging program builds

Broken by commit e5be81f8d4bf7f6cef5ac4ff0b059efbdf6055ea

more details on my issues

Added a comment: similar topic

Added a comment: similar topic

draft

comment

comment

OsPath conversion of DistributionUpdate

push down OsPath into CopyFile

stop exporting RawFilePath

avoid head warnings with recent ghc versions

remove the git-union-merge command

This has never been built and shipped as part of git-annex,
and including it as a pedagolical example in
the source code doesn't have much benefit. The program was not currently
buildable after recent OsPath changes.

Of course, Git/UnionMerge.hs is still available and can be used.

fix description of ParallelBuild

Revert "stack.yaml: temporarily build with older ghc"

This reverts commit 2f9a384e48cb4407e6b5b70d1db6efa593654f0e.

Merge branch 'master' into ospath

fix windows and OSX packaging program builds

Broken by commit e5be81f8d4bf7f6cef5ac4ff0b059efbdf6055ea

Merge branch 'ospathwin2' into ospath

fix convertToWindowsNativeNameSpace bug

This fixes a test suite failure. The OsPath conversion made that be used
in more places, including addurl, which exposed an existing bug.

avoid build warning on windows

OsPath transition Windows build fixes

This gets it building on Windows again, with 1 test suite failure
(addurl).

Sponsored-by: Kevin Mueller

fix comment

improved OsPath conversion

more OsPath conversion

this avoids 1 copy

more OsPath conversion

use to/fromOsPath

Just to reduce the number of from/toRawFilePath calls, which I would
like to minimize.

In this build path, the two are the same though.

remove unused functions from Utility.RawFilePath

replace removeLink with removeFile

same reasoning as in commit 5cc8d9d03b53f2e43d51e4f612f423178519e824

update todo

replace R.doesPathExist with doesPathExist

Equivilant, just avoids some ugliness.

test suite now passes after OsPath conversion

The test suite was failing because of a bug in the Database/* modules.
I had replaced doesPathExist with doesDirectoryExist, but it was
checking the database file.

I have audited commit f1ba21d698c908ad84c08bce24fbbc376190fe83 for
other changes to doesPathExist, and checked that doesDirectoryExist and
doesFileExist were used correctly.

The only change I found is in youtubeDl', where it used to return
directories that might have been created by youtube-dl. But it was
supposed to return media files, so changing it to use doesFileExist is
actually an improvement. Although only of theoretical benefit.

Note that it would actually be possible to keep using doesPathExist,
there is a version of that for OsPath as well. But the rest of these
changes seem safe.

Sponsored-by: Nicholas Golder-Manning

OsPath conversion of linuxstandalone builder

Sponsored-by: Joshua Antonishen

Merge branch 'master' of ssh://git-annex.branchable.com

stack.yaml: temporarily build with older ghc

And without ospath build flag as a consequence.

This is a temporary fix to build failures on the github CI for Windows
and OSX, which use too old a version of stack to support the nightly
ghc.

I have sent a patch to those workflows, and after it is applied, this
can be reverted.

OsPath build flag no longer depends on filepath-bytestring

However, filepath-bytestring is still in Setup-Depends.
That's because Utility.OsPath uses it when not built with OsPath.
It would be maybe possible to make Utility.OsPath fall back to using
filepath, and eliminate that dependency too, but it would mean either
wrapping all of System.FilePath's functions, or using `type OsPath = FilePath`

Annex.Import uses ifdefs to avoid converting back to FilePath when not
on windows. On windows it's a bit slower due to that conversion.
Utility.Path.Windows.convertToWindowsNativeNamespace got a bit
slower too, but not really worth optimising I think.

Note that importing Utility.FileSystemEncoding at the same time as
System.Posix.ByteString will result in conflicting definitions for
RawFilePath. filepath-bytestring avoids that by importing RawFilePath
from System.Posix.ByteString, but that's not possible in
Utility.FileSystemEncoding, since Setup-Depends does not include unix.
This turned out not to affect any code in git-annex though.

Sponsored-by: Leon Schuermann

merging the two lines of OsPath conversion commits

OsPath conversion

While some RawFilePath and FilePath remain, this converts most of
git-annex to using OsPath.

(When built without the OsPath build flag, is falls back to using
type OsPath = RawFilePath.)

The goals are
1) improved performance by using OsPath end-to-end when possible
2) potentially avoiding memory use problems caused by pinned strict
   ByteString, since OsPath uses ShortByteString
3) eventually eliminating the filepath-bytestring dependency so I don't
   need to keep maintaining that library
   (this doesn't get all the way, but close)
4) generally improved type safety, since OsPath is a newtype, while
   FilePath and RawFilePath are just type aliaes.

This is the result of a type checker driven process. I started by
converting from System.Directory to System.Directory.OsPath, and from
System.FilePath to System.OsPath. Then I fixed all the compile errors,
which took 3 weeks of work.

Unfortunately, there are several test suite failures at this point.
Also, it only has been built on linux, on windows and OSX there are
probably ifdefs whose code still needs to be converted.

Note that there is a parallel line of commits, starting with
05bdce328d890cbac68a8627aaae262078a8290a
which is the incremental progress as I worked on this. It will be merged
with this commit. In some cases, commits in that line explain in more
details the reasons for some specific changes.

fix reversions

Oops, in 0b9e9cbf70c6375c8ccccdfac95b5e04ca09f891 I lost takeDirectory
in several places.

With this fixed, the test suite no longer utterly blows up, but still
fails in 7 places due to other bugs introduced in the OsPath conversion.

Sponsored-by: Graham Spencer

more OsPath conversion (749/749)

Builds with and without OsPath build flag.

Unfortunately, the test suite fails.

Sponsored-by: unqueued on Patreon

don't export pack and unpack

These are too widly used for other things to make sense to export OsPath
versions of them. And OsString also provides them and gets imported
qualified when needed.

more OsPath conversion (658/749)

At this point the test suite builds, and mostly the assistant is left.

Sponsored-by: unqueued

Added a comment: iroh

more OsPath conversion (650/749)

Sponsored-by: Nicholas Golder-Manning

more OsPath conversion (639/749)

Sponsored-by: k0ld

more OsPath conversion (602/749)

Sponsored-by: Brock Spratlen

more OsPath conversion (572/749)

Sponsored-by: Jack Hill

Revert "update"

This reverts commit f5c6dc7cfb4ff9d455fe67081f346b65a8803e68.

Revert "update"

This reverts commit 34646124457004f693b19abdf0c6eaf15f833897.

update

update

more OsPath conversion (542/749)

Sponsored-by: Luke T. Shumaker

more OsPath conversion (520/749)

Sponsored-by: mycroft

Merge branch 'master' into ospath

more OsPath conversion (502/749)

Sponsored-by: Kevin Mueller on Patreon

more OsPath conversion (475/749)

Sponsored-by: Nicholas Golder-Manning

OsPath conversion of Annex.YouTubeDl

The change of R.doesPathExist to doesFileExist I think fixes a reversion
introduced in commit 1ceece3108f03badcca0d9c64cd287f9352656b3. Before
that commit, it was doesFileExist, and I assume to point is that this is
only supposed to return files, not any subdirectories that yt-dlp might
create while running.

OsPath conversion of Remote.Adb

Note that the additional use of System.FilePath.Posix likely fixes a
problem if this were used on windows. The AndroidPath uses / directory
separators. Before this, on windows, \ would have been used.

The change to newtype AndroidPath is only documentation.

more OsPath conversion

Sponsored-by: Leon Schuermann

more OsPath conversion (464/749)

Sponsored-by: unqueued

more OsPath conversion

Sponsored-by: Graham Spencer

replace removeLink with removeFile

removeFile calls unlink so removes anything not a directory. So these
are replaceable in order to convert to OsPath.